Learning When to Think: Utility-Guided Adaptive Reasoning for Efficient Text Retrieval
学习何时思考：效用引导的自适应推理用于高效文本检索
🧭 推理增强检索 · 自适应深度 ★ 深度解读
Carnegie Mellon University · University of Pittsburgh
提出 AURA，用检索特异性监督中间推理状态并训练效用估计器，在推理时自适应停止，以更少步骤取得最优检索
📌 工作参考价值（4 点）
- 电商搜索/推荐中，对 query 改写、LLM 生成式召回、Agent 推理链路不要无限展开。用线上日志构造“正样本 + 曝光未点击/难负样本”，在每个推理/改写中间态计算 specificity margin 作为 utility label 监督，可抑制过度改写和语义漂移；论文证明该信号与 corpus nDCG 相关达 0.97。
- 部署时训练一个轻量 MLP（10M）预测当前上下文 embedding 的检索/推荐效用，线上连续 p 步不提升就停止生成。论文中延迟从 4.6s 降到 0.76s，指标反升；这比 full trajectory 或按 token entropy 停止都更可靠。
- 多任务联合优化生成+对比检索/推荐时，建议对 embedding 损失做 gradient isolation：不回传到前缀 token，避免生成能力被对比损失干扰。论文消融中去除后 nDCG 从 34.7 掉到 29.8。
- 推理时用 greedy expansion 比 best-of-k 更划算：每步生成多个候选，用 utility estimator 选最优继续，而不是采样完整轨迹；对 query 改写、Agent 多步检索、搜索词生成都可复用。